当Google的蜘蛛抓取我的网站之一时，它们会从选择列表中提取数据作为页面数据。我完全理解为什么会这样，但问题是，它能以任何方式被阻止吗？我不想阻止整个页面被抓取，而只是阻止选择列表数据。问题如下:在谷歌搜索时，选择列表数据显示为页面摘要，而不是内容。描述标签专门用于帮助SEO并为潜在网站访问者提供有用的信息，但其预期功能并未实现。查看此示例案例https://www.google.com/search?q=alaskankleekaisite%3Awiki-pet.com这会损害网站上搜索性能的有效性，因为不止1个页面在搜索结果中显示相同的数据。有超过200个页面具有完全相同的选择列

我在Zend中有一个基本的路由，例如:url->/faq(Controller常见问题，默认操作索引)url->/faq/index(Controller常见问题，操作索引)这个url应该有相同的内容，一个重复的内容(SEO)，我想阻止url/faq/index并抛出404。如果有人知道该怎么做...谢谢! 最佳答案 你也可以使用路由器(Zend_Controller_Front)://addtoyourRoutefile$Router=Zend_Controller_Front::getInstance()->getRouter(

我的网站(freeofficefinder.com)正在被克隆(参见此处:thelawyerserviceratings.org)实际上有超过25个网站目前正在克隆我们的网站。显然，由于“重复内容”，这极大地损害了我们的SEO排名。有什么我可以添加到Apache配置文件以确保只有我们的网站在域freeofficefinder.com上呈现。对于所有其他域，这是否被阻止？ 最佳答案 如我所见，您的Web服务器配置为为任何请求的服务器名称提供相同的虚拟主机。例子:#telnetfreeofficefinder.com80Trying78

我手头有一个案例，我必须super确定google(或任何yahoo/bing就此而言)不会索引特定内容，所以冗余越多越好。据我所知，有3种方法可以实现这一点，我想知道是否还有更多方法(冗余是这里的关键):将元标记设置为无索引在robots.txt中禁止受影响的url结构post通过ajax加载内容所以如果这就是所有方法，那很好，但是如果有人有一些想法如何更加确定，那就太棒了:D(我知道这有点疯狂，但如果内容以某种方式出现在google中，我的公司会变得非常昂贵:'-() 最佳答案 呃，还有很多a)识别googlebot(与其他机器

通常，如果我不想让Google抓取某个页面，我会将该页面添加到我的robots.txt文件中，如下所示:User-agent:*Disallow:/my-page为了防止Google将该页面编入索引，我会将该页面从我的sitemap.xml中删除将以下元标记添加到页面的:现在，如果我使用AngularJS处理单个页面应用程序的所有路由，如何停止Google索引和/或抓取路由？Angular为每条路线在ng-view中带来内容，因此信息在中在每条路线上保持不变。我不认为我可以在这种情况下添加元标记。 最佳答案 如果你的根模块放在标记(

概念所以，我已经制作(实际上升级)了这个网站，它有自己的内容管理系统(CMS)，每个人都喜欢。与大多数CMS一样，默认行为是使用丑陋且完全无用的url访问页面，如下所示:www.mysite.edu/index.php?pageid=xxxx所以我们的想法是改变它，这样我们就可以拥有“真实”的URL，这些URL不仅看起来更好，而且有望与Google搜索引擎更好地合作。改变真的没有那么难:通过Apache发现没有相应URL的页面，并使用ErrorDocument404/redirect.php重定向到/redirect.phpredirect.php剥离URL并在数据库中找到它的条目。r

如何创建一个有效的robots.txt文件来阻止除根以外的所有爬虫请求，也就是登陆http://www.mysite.com 最佳答案 假设根目录的默认页面名为index.htm，我相信这会实现您的要求。User-agent:*Allow:/index.htmDisallow:/Google的网站管理员工具有一些greathelp用于制定robots.txt，如果您使用网站站长工具，您还会获得一个robots.txt生成器/测试器。 关于html-你如何创建一个robots.txt文件来

我在谷歌上搜索了很多文章，也阅读了很多文章，但react不一。如果我想阻止网站的某个部分被搜索引擎编入索引，我对哪个更好的选择感到有点困惑。基本上我对我的网站做了很多更新，也为客户设计，我不希望我为预览上传的所有“测试数据”都被编入索引以避免重复内容问题。我应该使用子域并阻止整个子域吗或创建一个子目录并使用robots.txt阻止它。我是网页设计的新手，对使用子域有点不安全(在某处读到这是一个有点高级的过程，即使是一个小错误也可能导致严重后果，而且MattCutts也提到了类似的东西(source):"I’drecommendusingsubdirectoriesuntilyousta

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭10年前。Improvethisquestion有人注册了域并使用CNAME重定向将流量定向到我的网站。Google将其视为重复内容并影响了我的排名。是否可以阻止通过domainnotundermycontrol.com重定向访问我网站的流量？提前致谢。

我在我的网站上使用了丰富网页摘要，我在页脚中提供了它们的所有代码，以便它们位于中心位置并且易于访问。我不希望在页面上呈现这些片段周围的文本，因为该信息在网站的其他地方。是否可以使用style="display:none"隐藏此文本，或者Google是否会因为字段被隐藏而完全忽略丰富网页摘要？MyBusinessName123ExampleStreet,Suite456MajorCityNY12345US(123)456-7890http://www.mycompanysite.com/任何信息将不胜感激!提前致谢! 最佳答案 正如@